กรัสมัน เป็นลูกคนที่สามจากสิบสองคนของยุสทุส กึนเทอร์ กรัสมัน (Justus Günter Graßmann) ยุสทุสเป็นพระนักบวชที่สอนคณิตศาสตร์และฟิสิกส์ที่โรงเรียนชเต็ททีน (Stettin Gymnasium) และแฮร์มันก็เรียนที่นั่นด้วย แฮร์มันมักทำงานร่วมกับพี่ชายชื่อโรแบร์ท (Robert)

กรัสมันเป็นนักเรียนธรรมดาจนกระทั่งเขาทำคะแนนได้สูงมากในการสอบเข้ามหาวิทยาลัยต่าง ๆ ในปรัสเซีย (Preußen) เขาศึกษาเทววิทยาที่มหาวิทยาลัยเบอร์ลิน เมื่อต้นปี ค.ศ. 1827 และยังเรียนภาษาวรรณคดีโบราณ (เช่น กรีกโบราณ ละติน ฯลฯ) ปรัชญา และวรรณคดี แต่ไม่พบว่าเขาเรียนคณิตศาสตร์หรือฟิสิกส์

แม้ว่าเขาจะไม่ผ่านการเรียนคณิตศาสตร์ในมหาวิทยาลัย แต่เขาสนใจคณิตศาสตร์มากที่สุดเมื่อเขากลับมาที่ชเต็ททีนเมื่อปี ค.ศ. 1830 หลังจากเขาจบการศึกษาที่เบอร์ลิน หลังจากนั้นเขาเตรียมตัวหนึ่งปีเพื่อเข้าสอบเพื่อเป็นครูสอนคณิตศาสตร์ที่โรงเรียน แต่ก็ได้รับอนุญาตให้ทำการสอนคณิตศาสตร์แค่ในระดับต้นเท่านั้น เขาได้เป็นผู้ช่วยที่โรงเรียนชเต็ททีนเมื่อฤดูใบไม้ผลิปีค.ศ. 1832 ระหว่างนั้นเขาได้ค้นพบคณิตศาสตร์แบบใหม่เป็นครั้งแรก ซึ่งนำไปสู่ความคิดทีสำคัญ ซึ่งเขาได้ตีพิมพ์เป็นเอกสารเผยแพร่เมื่อปี ค.ศ. 1844

กรัสมันเริ่มสอนที่โรงเรียนพาณิชย์ในเบอร์ลิน เมื่อปี ค.ศ. 1834 อีกหนึ่งปีต่อมาเขากลับมาที่ชเต็ททีน สอนคณิตศาสตร์ ฟิสิกส์ เยอรมัน ละติน และศาสนาที่โรงเรียนอ็อทโท (Otto) แต่เขาก็ได้สอนแค่ในระดับต้นเท่านั้น สี่ปีต่อมาเขาผ่านการสอบและได้รับอนุญาตให้สอนคณิตศาสตร์ ฟิสิกส์ เคมี และวิทยาแร่ ในระดับมัธยมศึกษา

กรัสมันค่อนข้างเสียใจว่า เขากำลังสร้างนวัตกรรมใหม่ทางคณิตศาสตร์แต่เขาสอนได้แค่ระดับมัธยมศึกษา แต่เขาก็ได้เลื่อนตำแหน่งแม้ไม่เคยออกจากชเต็ททีน เขาได้เป็นครูใหญ่เมื่อปี ค.ศ. 1847 เขาได้รับตำแหน่งสืบต่อจากพ่อที่ล่วงลับที่โรงเรียนชเต็ททีน และได้เป็นศาสตราจารย์เมื่อปี ค.ศ. 1852 เขาได้ขอให้รัฐมนตรีกระทรวงศึกษาธิการของปรัสเซียหาตำแหน่งให้เขาที่มหาวิทยาลัยเมื่อปี ค.ศ. 1847 แอ็นสท์ คุมเมอร์ (Ernst Kummer) ได้เขียนตอบกลับมาว่า เรียงความชิงรางวัลเมื่อปี ค.ศ. 1846 ของกรัสมันมีเนื้อหาที่ดีแต่อยู่ในรูปแบบยังไม่ดีพอ รายงานฉบับนี้ของคุมเมอร์ทำให้กรัสมันหมดโอกาสที่จะได้รับตำแหน่งที่มหาวิทยาลัย ซึ่งแสดงถึงบรรทัดฐานของคนในยุคนั้น ทำให้สมัยนั้นไม่มีใครได้จดจำคุณค่าทางคณิตศาสตร์ของกรัสมัน

ในช่วงความวุ่นวายทางการเมืองในประเทศเยอรมนี ช่วงปี ค.ศ. 1848–1849 แฮร์มันและโรแบร์ท กรัสมัน ตีพิมพ์บทความลงในหนังสือพิมพ์ชเต็ททีนเพื่อเรียกร้องการรวมประเทศเยอรมนีและปกครองในระบอบราชาธิปไตยภายใต้รัฐธรรมนูญ (ซึ่งสำเร็จเมื่อปี ค.ศ. 1872) หลังจากกฎหมายรัฐธรรมนูญเขียนเสร็จ แฮร์มันได้ขัดแย้งกับหนังสือพิมพ์ และพบว่าตัวเขาเองขัดแย้งกับทิศทางทางการเมืองของมันมากขึ้นเรื่อย ๆ

กรัสมันมีลูกสิบเอ็ดคน แต่มีแค่เจ็ดคนที่ได้โตเป็นผู้ใหญ่ ลูกชายคนหนึ่งของเขา แฮร์มัน แอ็นสท์ กรัสมัน (Hermann Earnst Graßmann) ได้เป็นศาสตราจารย์ด้านคณิตศาสตร์ที่มหาวิทยาลัยกีเซิน